Définition d'une chaîne de Markov avec un nombre fini d'états

Définition

On considère un système aléatoire comportant  `n`  états possibles et une suite de variables aléatoires  `(X_k)` permettant de modéliser l’évolution par étapes successives de ce système aléatoire.

Ainsi, à l’étape  `k` , les coefficients de la matrice ligne  `X_k`  à  `n`  colonnes sont les probabilités que le système occupe chacun des états possibles.

À l’étape  `k=0` , la loi de probabilité de  `X_0`  s’appelle la distribution initiale du système.

À l’étape  `k` , la loi de probabilité de  \(X_k\)  s’appelle la distribution du système après  \(k\)  transitions.

Si, à chaque étape, la probabilité de transition d’un état à un autre ne dépend que du dernier état et non de l'ancienneté du processus (le nombre  \(k\) ) ou des états antérieurs, on dit que la suite  \((X_k)\)  est une chaîne de Markov.

Remarques

La suite  \((X_k)\)  est une suite de matrices lignes ; on peut interpréter chacun de ses coefficients comme une suite numérique, ces suites numériques étant liées entre elles. L’utilisation de la suite de matrices lignes apportera à la résolution mathématique du problème une simplification du même type que l’utilisation des matrices avait apporté à la résolution de systèmes linéaires.

On peut associer à une chaîne de Markov :

• un graphe probabiliste où les sommets sont les états du système aléatoire et le poids de chaque arête est égal à la probabilité de transition d’un état à l’autre ;
  
• la matrice de transition de ce graphe probabiliste.